Beliau dilahirkan pada 18 Februari 1925 di Tebat Kering, sebuah solok terpencil dikelilingi oleh hutan belukar dan kebun getah terletak di Kampung Bukit Tembun, daerah Kuala Pilah, Negeri Sembilan. [1]Adik-beradiknya seramai 10 orang dan beliau anak ke-6. Beliau pernah menjaja ubi kayu di Melaka untuk menambah pendapatan keluarga. Ketika usia 14 tahun beliau menjadi kedi / pemungut bola golf dan dibayar 1 sen sehari dan bola tenis golongan atasan seperti Yang di-Pertuan Agong pertama, Tuanku Abdul Rahman.

Apabila ibu bapanya ,meninggal dunia, empat adik beradik meninggalkannya sebatang kara di Kuala Pilah. Beliau tinggal bersama bapa saudaranya. Abdul Ghafar pernah makan reja-reja roti di kedai kopi seorang Cina Hailam. Kadang-kala beliau menumpang tidur di rumah kawan dan tidur di bilik darjah sahaja.

Ketika umur 34 tahun beliau menjadi Ketua Menteri Melaka dan duduk semeja dengan Tuanku Abdul Rahman apabila menghadiri Mesyuarat Majlis Raja-Raja di Istana Negara.